<!DOCTYPE html>
<html>
<head>
    

    

    



    <meta charset="utf-8">
    
    
    
    <title>大型网站技术架构3-网站伸缩性 | 尼古拉斯-鱼丸博客 | 喝酒、吃肉、不赌</title>
    <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1">
    
    <meta name="theme-color" content="#3F51B5">
    
    
    <meta name="keywords" content="大型网站技术架构">
    <meta name="description" content="读《大型网站技术架构-李智慧》笔记 网站伸缩性？不需要改变网站软硬件的设计，只需要通过改变部署的服务器的数量就可以扩大或者缩小网站的服务处理能力。小网站到大网站渐进式演进过程中，最重要的技术手段就是使用集群 网站的伸缩性设计1.不同功能进行物理分离实现伸缩  纵向分离(分层分离)：将业务处理流程上不同部分分离部署，实现伸缩性  横向分离(业务分割分离):将业务模块分离，实现伸缩性2.单一功能通过集">
<meta name="keywords" content="大型网站技术架构">
<meta property="og:type" content="article">
<meta property="og:title" content="大型网站技术架构3-网站伸缩性">
<meta property="og:url" content="http://fish_08.oschina.io/2017/11/29/大型网站技术架构3-网站伸缩性/index.html">
<meta property="og:site_name" content="尼古拉斯-鱼丸博客">
<meta property="og:description" content="读《大型网站技术架构-李智慧》笔记 网站伸缩性？不需要改变网站软硬件的设计，只需要通过改变部署的服务器的数量就可以扩大或者缩小网站的服务处理能力。小网站到大网站渐进式演进过程中，最重要的技术手段就是使用集群 网站的伸缩性设计1.不同功能进行物理分离实现伸缩  纵向分离(分层分离)：将业务处理流程上不同部分分离部署，实现伸缩性  横向分离(业务分割分离):将业务模块分离，实现伸缩性2.单一功能通过集">
<meta property="og:updated_time" content="2017-11-30T07:03:19.523Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="大型网站技术架构3-网站伸缩性">
<meta name="twitter:description" content="读《大型网站技术架构-李智慧》笔记 网站伸缩性？不需要改变网站软硬件的设计，只需要通过改变部署的服务器的数量就可以扩大或者缩小网站的服务处理能力。小网站到大网站渐进式演进过程中，最重要的技术手段就是使用集群 网站的伸缩性设计1.不同功能进行物理分离实现伸缩  纵向分离(分层分离)：将业务处理流程上不同部分分离部署，实现伸缩性  横向分离(业务分割分离):将业务模块分离，实现伸缩性2.单一功能通过集">
    
        <link rel="alternative" href="/atom.xml" title="尼古拉斯-鱼丸博客" type="application/atom+xml">
    
    <link rel="shortcut icon" href="/favicon.ico">
    <link rel="stylesheet" href="/css/style.css?v=1.6.7">
    <script>window.lazyScripts=[]</script>
</head>

<body>
    <div id="loading" class="active"></div>

    <aside id="menu" class="hide" >
  <div class="inner flex-row-vertical">
    <a href="javascript:;" class="header-icon waves-effect waves-circle waves-light" id="menu-off">
        <i class="icon icon-lg icon-close"></i>
    </a>
    <div class="brand-wrap">
      <div class="brand">
        <a href="/" class="avatar waves-effect waves-circle waves-light">
          <img src="/img/avatar.jpg">
        </a>
        <hgroup class="introduce">
          <h5 class="nickname">于亮</h5>
          <a href="mailto:136214289@qq.com" title="136214289@qq.com" class="mail">136214289@qq.com</a>
        </hgroup>
      </div>
    </div>
    <div class="scroll-wrap flex-col">
      <ul class="nav">
        
            <li class="waves-block waves-effect">
              <a href="/"  >
                <i class="icon icon-lg icon-home"></i>
                主页
              </a>
            </li>
        
            <li class="waves-block waves-effect">
              <a href="/archives"  >
                <i class="icon icon-lg icon-archives"></i>
                文档
              </a>
            </li>
        
            <li class="waves-block waves-effect">
              <a href="/tags"  >
                <i class="icon icon-lg icon-tags"></i>
                标签
              </a>
            </li>
        
            <li class="waves-block waves-effect">
              <a href="http://git.oschina.net/fish_08" target="_blank" >
                <i class="icon icon-lg icon-github"></i>
                Github
              </a>
            </li>
        
            <li class="waves-block waves-effect">
              <a href="http://weibo.com/2837335591/profile?rightmod=1&wvr=6&mod=personinfo" target="_blank" >
                <i class="icon icon-lg icon-weibo"></i>
                Weibo
              </a>
            </li>
        
            <li class="waves-block waves-effect">
              <a href="/custom"  >
                <i class="icon icon-lg icon-link"></i>
                测试
              </a>
            </li>
        
      </ul>
    </div>
  </div>
</aside>

    <main id="main">
        <header class="top-header" id="header">
    <div class="flex-row">
        <a href="javascript:;" class="header-icon waves-effect waves-circle waves-light on" id="menu-toggle">
          <i class="icon icon-lg icon-navicon"></i>
        </a>
        <div class="flex-col header-title ellipsis">大型网站技术架构3-网站伸缩性</div>
        
        <div class="search-wrap" id="search-wrap">
            <a href="javascript:;" class="header-icon waves-effect waves-circle waves-light" id="back">
                <i class="icon icon-lg icon-chevron-left"></i>
            </a>
            <input type="text" id="key" class="search-input" autocomplete="off" placeholder="输入感兴趣的关键字">
            <a href="javascript:;" class="header-icon waves-effect waves-circle waves-light" id="search">
                <i class="icon icon-lg icon-search"></i>
            </a>
        </div>
        
        
        <a href="javascript:;" class="header-icon waves-effect waves-circle waves-light" id="menuShare">
            <i class="icon icon-lg icon-share-alt"></i>
        </a>
        
    </div>
</header>
<header class="content-header post-header">

    <div class="container fade-scale">
        <h1 class="title">大型网站技术架构3-网站伸缩性</h1>
        <h5 class="subtitle">
            
                <time datetime="2017-11-29T07:57:20.000Z" itemprop="datePublished" class="page-time">
  2017-11-29
</time>


            
        </h5>
    </div>

    

</header>


<div class="container body-wrap">
    
    <aside class="post-widget">
        <nav class="post-toc-wrap" id="post-toc">
            <h4>TOC</h4>
            <ol class="post-toc"><li class="post-toc-item post-toc-level-3"><a class="post-toc-link" href="#网站伸缩性？"><span class="post-toc-number">1.</span> <span class="post-toc-text">网站伸缩性？</span></a></li><li class="post-toc-item post-toc-level-3"><a class="post-toc-link" href="#网站的伸缩性设计"><span class="post-toc-number">2.</span> <span class="post-toc-text">网站的伸缩性设计</span></a></li><li class="post-toc-item post-toc-level-3"><a class="post-toc-link" href="#应用服务器集群伸缩性设计"><span class="post-toc-number">3.</span> <span class="post-toc-text">应用服务器集群伸缩性设计</span></a></li><li class="post-toc-item post-toc-level-3"><a class="post-toc-link" href="#负载均衡算法"><span class="post-toc-number">4.</span> <span class="post-toc-text">负载均衡算法</span></a></li><li class="post-toc-item post-toc-level-3"><a class="post-toc-link" href="#分布式缓存集群的伸缩性设计"><span class="post-toc-number">5.</span> <span class="post-toc-text">分布式缓存集群的伸缩性设计</span></a></li><li class="post-toc-item post-toc-level-3"><a class="post-toc-link" href="#数据存储服务器集群的伸缩性设计"><span class="post-toc-number">6.</span> <span class="post-toc-text">数据存储服务器集群的伸缩性设计</span></a></li></ol>
        </nav>
    </aside>
    
<article id="post-大型网站技术架构3-网站伸缩性"
  class="post-article article-type-post fade" itemprop="blogPost">

    <div class="post-card">
        <h1 class="post-card-title">大型网站技术架构3-网站伸缩性</h1>
        <div class="post-meta">
            <time class="post-time" title="2017年11月29日 15:57" datetime="2017-11-29T07:57:20.000Z"  itemprop="datePublished">2017-11-29</time>

            


            
<span id="busuanzi_container_page_pv" title="文章总阅读量" style='display:none'>
    <i class="icon icon-eye icon-pr"></i><span id="busuanzi_value_page_pv"></span>
</span>


            

        </div>
        <div class="post-content" id="post-content" itemprop="postContent">
            <p>读《大型网站技术架构-李智慧》笔记</p>
<h3 id="网站伸缩性？"><a href="#网站伸缩性？" class="headerlink" title="网站伸缩性？"></a>网站伸缩性？</h3><p>不需要改变网站软硬件的设计，只需要通过改变部署的服务器的数量就可以扩大或者缩小网站的服务处理能力。<br>小网站到大网站渐进式演进过程中，最重要的技术手段就是使用集群</p>
<h3 id="网站的伸缩性设计"><a href="#网站的伸缩性设计" class="headerlink" title="网站的伸缩性设计"></a>网站的伸缩性设计</h3><p>1.不同功能进行物理分离实现伸缩<br>  纵向分离(分层分离)：将业务处理流程上不同部分分离部署，实现伸缩性<br>  横向分离(业务分割分离):将业务模块分离，实现伸缩性<br>2.单一功能通过集群规模实现伸缩<br>不同功能分离，最小粒度独立部署，单一服务器也不能满足业务规模要求，这时候需要使用集群；</p>
<p>集群伸缩性设计分为应用服务器集群伸缩性和数据服务器集群伸缩性</p>
<h3 id="应用服务器集群伸缩性设计"><a href="#应用服务器集群伸缩性设计" class="headerlink" title="应用服务器集群伸缩性设计"></a>应用服务器集群伸缩性设计</h3><p>应用服务器设计无状态的，请求分发需要实现负载均衡和失效转移<br>实现负载均衡的基础技术：<br>1.http重定向负载均衡<br>优点：简单<br>缺点：两次请求服务器才能完成一次访问，性能差；重定向服务自身的性能有可能成为性能瓶颈，整个集群伸缩性规模有限；使用HTTP302响应码重定向，有可能被搜索引擎判断为SEO作弊，降低搜索排名<br>2.DNS域名解析负载均衡<br>优点：负载均衡交给DNS,省掉网站维护负载均衡服务器，DNS还能支持基于地理位置的域名解析，加快访问速度，改善性能<br>缺点：DNS是多级解析，每一级DNS都可能缓存记录，下线服务，生效需要较长时间；负载均衡控制权在域名服务商那里，网站无法做更多改善和更强大管理<br>3.反向代理负载均衡(应用层负载均衡)<br>优点：反向代理服务器和负载均衡服务器功能集成在一起，部署简单<br>缺点：反向代理服务器是所有请求和响应的中转站，其性能可能成为瓶颈<br>4.IP负载均衡<br>优点：内核进程完成数据分发（在操作系统内核中获取网络数据包，进行负载均衡），较反向代理负载均衡（应用程序中分发数据）有更好的处理性能<br>缺点：所有请求响应都要经过负载均衡器，集群的最大响应数据吞吐量不得不受制于负载均衡服务器网卡带宽。不满足下载服务和视频服务<br>真实物理web服务器响应数据包如何返回给负载均衡服务器，一种是负载均衡服务器在修改目的Ip地址的同时，修改数据包源地址设置为自身；第二种是负载均衡服务器同时作为真实物理服务器集群的网关服务器<br>5.数据链路层负载均衡（三角传输）<br>优点：分发过程不修改请求Ip地址，只修改mac地址，避免负载均衡服务器网卡带宽成为性能瓶颈。<br>缺点：<br>LVS 链路层负载均衡开源产品</p>
<h3 id="负载均衡算法"><a href="#负载均衡算法" class="headerlink" title="负载均衡算法"></a>负载均衡算法</h3><p>1.轮询<br>2.加权轮询<br>3.随机<br>4.最少连接<br>5.源地址散列 hash计算，同一个IP一直访问同一台服务</p>
<h3 id="分布式缓存集群的伸缩性设计"><a href="#分布式缓存集群的伸缩性设计" class="headerlink" title="分布式缓存集群的伸缩性设计"></a>分布式缓存集群的伸缩性设计</h3><p>路由算法<br>1.余数hash  不符合单调性；<br>2.一致性hash算法<br> 构造一致性Hash环，一个长度为2的32次方的整数环，顺时针找缓存服务器节点，但是会引发负载不均衡问题；<br> 计算机的任何问题都可以通过增加一个虚拟层来解决。引入虚拟节点，使得新加入节点对所有机器影响保持一致，经验值是150.</p>
<h3 id="数据存储服务器集群的伸缩性设计"><a href="#数据存储服务器集群的伸缩性设计" class="headerlink" title="数据存储服务器集群的伸缩性设计"></a>数据存储服务器集群的伸缩性设计</h3><p>特点：和缓存不同，对数据持久性，正确性，可用性有更高要求<br>1.关系型数据库集群的伸缩性设计<br>利用数据复制功能<br>主从读写分离<br>业务分库（跨库不能连接查询）<br>单表过大，需要进行单表分片<br>分布式关系数据库产品开源的Amoeba和Cobar,即分布式数据库访问代理；<br>前端通信模块负责和应用程序通讯<br>sql解析<br>sql路由模块<br>sql执行代理模块<br>后端通讯模块<br>结果合并模块<br>返回应用程序</p>
<p>Cobar集群的伸缩：<br>Cobar服务器集群的伸缩，利用负载均衡访问实现伸缩<br>Mysql服务器集群的伸缩，利用数据同步功能进行数据迁移，迁移哪些数据可以使用一致性hash算法</p>
<p>2.Nosql数据库的伸缩性设计<br>传统企业应用领域：许多应用系统设计都是面向数据库设计，先设计数据库再设计程序，导致关系模型绑定对象模型；<br>Nosql指非关系型、分布式的数据库设计模式。天生支持高可用性和可伸缩性，放弃关系型数据库两大重要基础：以关系代数为基础的结构化查询语言SQL和事物一致性保证</p>
<p>HBase为可伸缩性海量数据存储而设计，实现面向在线业务的实时数据访问延迟。HBase的伸缩性主要依赖其可分裂的HRegion及可伸缩的分布式文件系统HDFS实现。<br>应用程序-zk-HMaster-HRegionServer-多个HRegion-多个HFile格式的文件</p>

        </div>

        <blockquote class="post-copyright">
    <div class="content">
        
<span class="post-time">
    最后更新时间：<time datetime="2017-11-30T07:03:19.523Z" itemprop="dateUpdated">2017年11月30日 15:03</time>
</span><br>


        如要转载请注明出处：<a href="/2017/11/29/大型网站技术架构3-网站伸缩性/" target="_blank" rel="external">http://fish_08.oschina.io/2017/11/29/大型网站技术架构3-网站伸缩性/</a>
    </div>
    <footer>
        <a href="http://fish_08.oschina.io">
            <img src="/img/avatar.jpg" alt="于亮">
            于亮
        </a>
    </footer>
</blockquote>

        
<div class="page-reward">
    <a id="rewardBtn" href="javascript:;" class="page-reward-btn waves-effect waves-circle waves-light">赏</a>
</div>



        <div class="post-footer">
            
	<ul class="article-tag-list"><li class="article-tag-list-item"><a class="article-tag-list-link" href="/tags/大型网站技术架构/">大型网站技术架构</a></li></ul>


            
<div class="page-share-wrap">
    

<div class="page-share" id="pageShare">
    <ul class="reset share-icons">
      <li>
        <a class="weibo share-sns" target="_blank" href="http://service.weibo.com/share/share.php?url=http://fish_08.oschina.io/2017/11/29/大型网站技术架构3-网站伸缩性/&title=《大型网站技术架构3-网站伸缩性》 — 尼古拉斯-鱼丸博客&pic=http://fish_08.oschina.io/img/avatar.jpg" data-title="微博">
          <i class="icon icon-weibo"></i>
        </a>
      </li>
      <li>
        <a class="weixin share-sns wxFab" href="javascript:;" data-title="微信">
          <i class="icon icon-weixin"></i>
        </a>
      </li>
      <li>
        <a class="qq share-sns" target="_blank" href="http://connect.qq.com/widget/shareqq/index.html?url=http://fish_08.oschina.io/2017/11/29/大型网站技术架构3-网站伸缩性/&title=《大型网站技术架构3-网站伸缩性》 — 尼古拉斯-鱼丸博客&source=" data-title=" QQ">
          <i class="icon icon-qq"></i>
        </a>
      </li>
      <li>
        <a class="facebook share-sns" target="_blank" href="https://www.facebook.com/sharer/sharer.php?u=http://fish_08.oschina.io/2017/11/29/大型网站技术架构3-网站伸缩性/" data-title=" Facebook">
          <i class="icon icon-facebook"></i>
        </a>
      </li>
      <li>
        <a class="twitter share-sns" target="_blank" href="https://twitter.com/intent/tweet?text=《大型网站技术架构3-网站伸缩性》 — 尼古拉斯-鱼丸博客&url=http://fish_08.oschina.io/2017/11/29/大型网站技术架构3-网站伸缩性/&via=http://fish_08.oschina.io" data-title=" Twitter">
          <i class="icon icon-twitter"></i>
        </a>
      </li>
      <li>
        <a class="google share-sns" target="_blank" href="https://plus.google.com/share?url=http://fish_08.oschina.io/2017/11/29/大型网站技术架构3-网站伸缩性/" data-title=" Google+">
          <i class="icon icon-google-plus"></i>
        </a>
      </li>
    </ul>
 </div>



    <a href="javascript:;" id="shareFab" class="page-share-fab waves-effect waves-circle">
        <i class="icon icon-share-alt icon-lg"></i>
    </a>
</div>



        </div>
    </div>

    
<nav class="post-nav flex-row flex-justify-between">
  
    <div class="waves-block waves-effect prev">
      <a href="/2017/11/30/大型网站技术架构4-网站可扩展性/" id="post-prev" class="post-nav-link">
        <div class="tips"><i class="icon icon-angle-left icon-lg icon-pr"></i> Prev</div>
        <h4 class="title">大型网站技术架构4-网站可扩展性</h4>
      </a>
    </div>
  

  
    <div class="waves-block waves-effect next">
      <a href="/2017/11/29/大型网站技术架构2-网站高可用/" id="post-next" class="post-nav-link">
        <div class="tips">Next <i class="icon icon-angle-right icon-lg icon-pl"></i></div>
        <h4 class="title">大型网站技术架构2-网站高可用</h4>
      </a>
    </div>
  
</nav>



    







</article>

<div id="reward" class="page-modal reward-lay">
    <a class="close" href="javascript:;"><i class="icon icon-close"></i></a>
    <h3 class="reward-title">
        <i class="icon icon-quote-left"></i>
        谢谢包子~
        <i class="icon icon-quote-right"></i>
    </h3>
    <ul class="reward-items">
        
        <li>
            <img src="/img/wechat.png" title="微信打赏二维码" alt="微信打赏二维码">
            <p>微信</p>
        </li>
        

        
        <li>
            <img src="/img/alipay.png" title="支付宝打赏二维码" alt="支付宝打赏二维码">
            <p>支付宝</p>
        </li>
        
    </ul>
</div>



</div>

        <footer class="footer">
    <div class="top">
        
<p>
    <span id="busuanzi_container_site_uv" style='display:none'>
        站点总访客数：<span id="busuanzi_value_site_uv"></span>
    </span>
    <span id="busuanzi_container_site_pv" style='display:none'>
        站点总访问量：<span id="busuanzi_value_site_pv"></span>
    </span>
</p>


        <p>
            <span><a href="/atom.xml" target="_blank" class="rss" title="rss"><i class="icon icon-lg icon-rss"></i></a></span>
            <span>博客内容遵循 <a href="http://creativecommons.org/licenses/by-nc-sa/4.0/" target="_blank">知识共享 署名 - 非商业性 - 相同方式共享 4.0协议</a></span>
        </p>
    </div>
    <div class="bottom">
        <p>
            <span>Power by <a href="http://hexo.io/" target="_blank">Hexo</a> Theme <a href="http://fish_08.oschina.io/" target="_blank">yuliang</a></span>
            <span>尼古拉斯-鱼丸博客 &copy; 2015 - 2018</span>
        </p>
    </div>
</footer>

    </main>
    <div class="mask" id="mask"></div>
<a href="javascript:;" id="gotop" class="waves-effect waves-circle waves-light"><span class="icon icon-lg icon-chevron-up"></span></a>



<div class="global-share" id="globalShare">
    <ul class="reset share-icons">
      <li>
        <a class="weibo share-sns" target="_blank" href="http://service.weibo.com/share/share.php?url=http://fish_08.oschina.io/2017/11/29/大型网站技术架构3-网站伸缩性/&title=《大型网站技术架构3-网站伸缩性》 — 尼古拉斯-鱼丸博客&pic=http://fish_08.oschina.io/img/avatar.jpg" data-title="微博">
          <i class="icon icon-weibo"></i>
        </a>
      </li>
      <li>
        <a class="weixin share-sns wxFab" href="javascript:;" data-title="微信">
          <i class="icon icon-weixin"></i>
        </a>
      </li>
      <li>
        <a class="qq share-sns" target="_blank" href="http://connect.qq.com/widget/shareqq/index.html?url=http://fish_08.oschina.io/2017/11/29/大型网站技术架构3-网站伸缩性/&title=《大型网站技术架构3-网站伸缩性》 — 尼古拉斯-鱼丸博客&source=" data-title=" QQ">
          <i class="icon icon-qq"></i>
        </a>
      </li>
      <li>
        <a class="facebook share-sns" target="_blank" href="https://www.facebook.com/sharer/sharer.php?u=http://fish_08.oschina.io/2017/11/29/大型网站技术架构3-网站伸缩性/" data-title=" Facebook">
          <i class="icon icon-facebook"></i>
        </a>
      </li>
      <li>
        <a class="twitter share-sns" target="_blank" href="https://twitter.com/intent/tweet?text=《大型网站技术架构3-网站伸缩性》 — 尼古拉斯-鱼丸博客&url=http://fish_08.oschina.io/2017/11/29/大型网站技术架构3-网站伸缩性/&via=http://fish_08.oschina.io" data-title=" Twitter">
          <i class="icon icon-twitter"></i>
        </a>
      </li>
      <li>
        <a class="google share-sns" target="_blank" href="https://plus.google.com/share?url=http://fish_08.oschina.io/2017/11/29/大型网站技术架构3-网站伸缩性/" data-title=" Google+">
          <i class="icon icon-google-plus"></i>
        </a>
      </li>
    </ul>
 </div>


<div class="page-modal wx-share" id="wxShare">
    <a class="close" href="javascript:;"><i class="icon icon-close"></i></a>
    <p>扫一扫，分享到微信</p>
    <img src="" alt="微信分享二维码">
</div>




    <script src="//cdn.bootcss.com/node-waves/0.7.4/waves.min.js"></script>
<script>
var BLOG = { ROOT: '/', SHARE: true, REWARD: true };



</script>

<script src="/js/main.min.js?v=1.6.7"></script>


<div class="search-panel" id="search-panel">
    <ul class="search-result" id="search-result"></ul>
</div>
<template id="search-tpl">
<li class="item">
    <a href="{path}" class="waves-block waves-effect">
        <div class="title ellipsis" title="{title}">{title}</div>
        <div class="flex-row flex-middle">
            <div class="tags ellipsis">
                {tags}
            </div>
            <time class="flex-col time">{date}</time>
        </div>
    </a>
</li>
</template>

<script src="/js/search.min.js?v=1.6.7" async></script>






<script async src="//dn-lbstatics.qbox.me/busuanzi/2.3/busuanzi.pure.mini.js"></script>


</body>
</html>
